


ПРОБЛЕМИ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ 





АНАЛИЗ ПРАВИЛ КОМБИНИРОВАНИЯ ГРУППОВЫХ 
ЭКСПЕРТНЫХ ОЦЕНОК В КОНФЛИКТНЫХ СИТУАЦИЯХ 


УДК 519.234 





КОВАЛЕНКО Игорь Иванович 
длт.н., профессор кафедры программного обеспечения автоматизированных систем 
Национального университета кораблестроения им. Макарова, г. Николаев 
Научные интересы: методы анализа данных, прикладной системный анализ, теория оптимальных решений, 
системы поддержки принятия решений. 


ШВЕД Алена Владимировна 
клт.н., старший преподаватель кафедры интеллектуальных информационных систем 
Черноморского государственного университета им. Петра Могилы., г. Николаев, Е-тай: һеіепаѕ$пу@таіі.ги 
Научные интересы: методы анализа данных, математическое моделирование, информационные 
технологии, системы поддержки принятия решений. 


ПУГАЧЕНКО Екатерина Сергеевна 
аспирантка, старший лаборант кафедры программного обеспечения автоматизированных систем Национального 
университета кораблестроения им. Макарова, г. Николаев, Е-тай: ридасһепко.Каїуа@уапӣех.иа 
Научные интересы: управление проектами, моделирование организационных структур 


ВВЕДЕНИЕ 

При анализе групповых экспертных оценок эф- 
фективные результаты могут быть получены при пра- 
вильном учете различных НЕ-факторов (неполнота, 
неопределенность, нечеткость, недостоверность, неод- 
нозначность и др.), что в свою очередь создает основу 
для выбора соответствующих подходов и методов 
обработки экспертной информации. Так, например, 
теория вероятностей предназначена для оперирования 
шансами случайных событий, при этом предполагается, 
что все события являются хорошо определенными 
понятиями. Неопределенность здесь связана только с 
тем, с какими шансами может произойти случайное 
событие из полной группы таких событий. Теория не- 
четких множеств предназначена для оперирования 
нечеткими концепциями, которые лежат в основе фор- 
мирования множеств элементов. Неопределенность 
(неточность, нечеткость) здесь возникает при попытке 
отнести элементы к некоторым классам (множествам), 


поскольку эти классы (множества) являются нечетки- 
ми, плохо определенными понятиями. 

Вместе с тем в реальных условиях могут сущест- 
вовать и специфические формы НЕ-факторов, напри- 
мер, комбинация неопределенности и нечеткости, 
возникающие в процессе взаимодействия между суж- 
дениями экспертов. Структура таких взаимодействий 
может иметь различных характер — они могут быть 
согласованными, совместимыми произвольными; 
могут произвольным образом объединятся и пересе- 
каться. Для анализа указанных структур взаимодейст- 
вий может быть использована теория свидетельств 
(теория Демпстера-—Шейфера, ТДШ) [1, 2]. 

В основе данной теории лежит следующее кон- 
цептуальное положение: основу анализа (множество 
альтернатив) образует множество взаимно исключаю- 
щих и исчерпывающих элементов (альтернатив). Это 
трактуется как рассмотрение всех возможных элемен- 
тов, так и то, что элементы должны быть уникально 
определены и отличимы друг от друга. Однако, на 
практике достичь взаимной исключаемости удается не 





всегда — некоторые элементы могут в значительной 
степени перекрываться друг другом. Поэтому выделить 
полностью различающиеся элементы не представляет- 
ся возможным [3]. 

Математическим аппаратом, позволяющим кор- 
ректно оперировать с такого рода неопределенностя- 
ми, является теория правдоподобных и парадоксаль- 
ных рассуждений (теория Дезера-Смарандаке, ТДО), 
предложенная в работах [3, 4]. 

Основной процедурой, положенной в основу от- 
меченных теорий, является комбинирование различ- 
ных групп экспертных суждений, характеризующихся 
различными структурами взаимодействий. Правила 
комбинирования позволяют получать агрегированные 
(обобщенные) экспертные оценки. Вместе с тем, про- 
блемой такого комбинирования является то, что могут 
возникать ситуации, при которых пересечение некото- 
рых групп экспертных суждений, например, А; и В, 


может быть пустым: А, ^^ В; = ©. Данная ситуация 


характеризуется наличием конфликта между эксперт- 
ными оценками (суждениями, свидетельствами). 


ПОСТАНОВКА ЗАДАЧИ 

Целью работы является рассмотрение и анализ 
различных правил комбинирования групповых экс- 
пертных оценок с целью получения агрегированной 
оценки сучетом выбранной модели анализа в условиях 
наличия конфликта. 


ИЗЛОЖЕНИЕ ОСНОВНОГО МАТЕРИАЛА 

В процессе экспертного оценивания могут возни- 
кать ситуации, при которых эксперт выделяет и оцени- 
вает не все имеющиеся альтернативы, а лишь некото- 
рые из них. 

Пусть имеется исходное множество альтернатив 
А = {А |1 =Ъп} и группа экспертов 
Е = {Е, | / =1, т}, выполняющих оценивание. 


В нотации математической теории свидетельств 
(1, 2] (модель Шейфера) эксперт Е; может сформиро- 


вать систему подмножеств Р; = {В, |1 = 1,0) , 


к = 21А —1, отражающих его предпочтения, таких, что 
В, <А. В рамках данной модели поддерживается 


предположение, что множество А является множест- 
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вом исчерпывающих и взаимоисключающих элемен- 
тов. Любое подмножество В, может быть построено 


на основе правил: 

1. В={А} — экспертом Е, выбрана одна 
альтернатива А; ЕА. 

2. В={А1=Ьр}, р<п — экспертом Е, 
выбрано р альтернатив А, ЕА. 

3. ВЕА={А |1=Ьп} — эксперт затрудняет- 
ся выбрать какую-либо из предложенных альтернатив 
(все альтернативы равнозначны). 

В нотации теории правдоподобных и парадок- 
сальных рассуждений [3] (модель Дезера-Смарандаке) 
эксперт Е; может сформировать систему подмно- 





жеств Р, = {8,|/=1,к), =|р^|-1, отражающих 


его предпочтения, таких, что В, < р^, где р^ — 
множество всех возможных подмножеств, выделенных 
на множестве А. В рамках данной модели поддержива- 
ется предположение, что множество А является множе- 
ством исчерпывающих элементов. Любое подмноже- 
ство В, может быть построено на основе правил [3,4]: 

1. В ={А} — экспертом Е, выбрана одна 
альтернатива А; єА . 


2. Ели В,В, < р^, 0 вв, ср^ и 


В, В, < р^, т.е. экспертом могут быть выделены 
любые подмножества, построенные на множестве 
А = {А |1 =1, л} при помощи операторов г и у, иих 
комбинаций. 

По результатам экспертного опроса может быть 
сформирована система подмножеств 
Х = {Р, | / =1, т}, отражающая выбор всех экспертов. 

Каждому выделенному подмножеству В, назна- 
чается основное назначение вероятности т(В,) — 
степень уверенности в том, что лучший выбор находит- 
ся в выделенном подмножестве [1, 2] 

т(В) 20, т(@) =0, У т(В,) =1. 

Для получения агрегированной (обобщенной) 
оценки в рамках теории свидетельств используется 
правило комбинирования Демпстера, в рамках теории 
правдоподобных и парадоксальных рассуждений ис- 





пользуется комбинирования 
(марандаке. 
Комбинированное основное назначение вероят- 


НОСТИ т (С) согласно правилу Демпстера [1,2] ( 


правило Дезера- 


тр; (©) =0, У(С + ©) е2^ ) рассчитывается как 


1 
ра т(Х)т (Хз) 
1-4 Е 
ХоХ,=С 





тр (С) = а) 


П 


где Х,, Х, — выделенные экспертами 1 и 2 


подмножества альтернатив; А — соответствует 
множеств) всех возможных подмножеств, выделенных 
на множестве А; К —— степень конфликтности, кото- 
рая определяется Как 

К = У; т(Ху)т(Х,) 


Хүхзе2^ 
ХохХ, = 


(2) 


Комбинированное основное назначение вероят- 
НОСТИ т, (С) согласно классическому правилу ком- 


бинирования Дезера-Смарандаке [3] (ҰС с р^) 
определяется из выражения 
тру (С) = у т (Х,) т (Хо) 


Х,Х,ср^ 3) 
ХохХ,=С 


Если уровень конфликта значителен, то для агре- 
гирования экспертных оценок может быть применено 
правило комбинирования РСВ5, позволяющее перерас- 
пределить конфликтные основные назначения вероят- 
ности на подмножества, вовлечённые в локальные 
конфликты [4]. 

Комбинированное основное назначение вероят- 
НОСТИ ирск5 (С) согласно правилу перераспределения 


конфликтов РСВ5 (УС с 2^ \ {23} ) рассчитывается из 


выражения 
трск5(С) = т (С) + 
ь 9 т)? от (У), т СХ’ т (0) |. (4) 
БАМ} т(Х)+т,(У) т(Х)+т(Ү) 
ХОУ=@ 
где т,(С) — комбинированная масса уверен- 


ности для подмножества С = Х му, рассчитанная на 
основе конъюнктивного консенсуса. 

Рассмотрим ряд примеров, иллюстрирующих раз- 
личные подходы при расчете агрегированной оценки в 
условиях конфликтующих экспертных суждений (свиде- 
тельств). 





Е ПРОБЛЕМИ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ 





Пример 1. Пусть имеется множество альтернатив 
(основа анализа) А = {А,,А,,А;,А,} и два эксперта, 


выполняющих их оценивание. 

В результате проведения экспертного опроса была 
сформирована система подмножеств Х = /Р,,Р,}, 
отражающая выбор экспертов 1 и 2. Р, = {В!", В} 
представляет собой множество, которое является сово- 
купностью выделенных экспертом 1 подмножеств 
ВО = {А4} и В = {А}. Экспертом 2 было сформи- 
ровано множество Р, = { В), В}, где В) = {А} и 
ВО) = {4}. На рисунке 1 изображены выделенные 


экспертами 1 и 2 подмножества. 

Выделенным подмножествам назначены основ- 
ные назначения вероятности: 
т(А)=0; т(А)=06; т(4) =0; т(А)=04; 
т(А)=0,1; т(А)=0; т(4)=09; ть(А.)=0. 





Рисунок 1 – Выделенные экспертами 1 и 2 подмноже- 
ства (пример 1) 


Рассчитаем результирующее основное назначе- 
ние вероятности т, (-) на основе правил комбиниро- 
вания Демпстера, Дезера-Смарандаке и правила РСВ5. 
В таблице 1 представлены результирующие подмноже- 
ства, образованные путем пересечения выделенных 
экспертами подмножеств. 

Коэффициент конфликтности для примера 1 со- 
ставил 

К =т (А )т. (А) + 
+т(А)т (А) + т (А )т (Аз) + 
+т (Аз )то (Аз) = 
=0,6*0,1+0,4*0,1+0,6*0,9-+ 
+0,4*0,9 =0,06+0,04+0,54+0,36 =1. 








Таблица 1 
Степень пересечения выделенных экспе- 
ртами подмножеств (пример 1) 
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Эксперт 1 
ві) | ем | в (44) 
Эксперт ВО) = {А} В В =@ | ВоВ? = 2 
2 |В = (А) ВоВ =0 |В) В) =0 








При такой ситуации применение правила Демп- 
стера невозможно т.к. уровень конфликта равен 1. 

На основе классического правила комбинирова- 
ния Дезера-Смарандаке выделены результирующие 
подмножества: 

т(А А) = 0,06; т(А А) = 0,04; 
т (А А) = 0,54; т,(А СА.) = 0,36. 

Как видно из таблицы 1 в модели имеются 4 ло- 
кальных конфликта: д А, =, АА, =, 
АА =@, АА; =. Суммарное значение 
которых составляет 1. 

Первый локальный конфликт д, (А; тА) = 
т, (А)т, (А) =0,6*0,1=0,06 пропорционально рас- 
пределяется между выбором А, и А, в соответствии с 
выражением 

ху 0,6:0,1 _ 0,06 





0,1 0,6 0,6+01 07’ 

Тода х= (0,06*0,1)/0,7=0,0086; у= 
(0,06*0,6)/0,7=0,0514. 

Второй локальный конфликт д, (А; т А,) = 


т (А,)т, (А) =0,04 пропорционально распределяет- 
ся между выбором д; и А, в соответствии с выраже- 
нием 

х _ у _ 0,4-0,1 0,04 

0,1 0,4 0,4+01 0,5 

Тогда х›= (0,04%0,1)/0,5=0,008; 
(0,04*0,4)/0,5=0,032. 

Третий локальный конфликт 2, (А, А) = 
т, (А,)т (Аз) =0,6*0,9=0,54 пропорционально рас- 
пределяется между выбором А, и А, в соответствии с 


выражением 
ж _ № _ 0,6-0,9 0,54 
0,6 0,9 0,6+0,9 1,5’ 





У 








Тогда (0,54%0,6)/1,5=0,216; 
(0,54%0,9)/1,5=0,324. 

Четвертый локальный конфликт т, (А; ^ А.) = 
т. (А,)т, (Аз) =0,4*0,9=0,36 пропорционально рас- 
пределяется между выбором А; и А, в соответствии с 
выражением 

ха уц 0,9.0,4 _ 0,36 

0,9 0,4 0,9+0,4 13 ° 

Тогда (0,36*0,9)/1,3=0,249; 
(0,36*0,4)/1,3=0,111. 

Результирующие основные назначения вероятно- 
сти в соответствии с правилом РСА5: 


ж = 


У 





ж= уд = 


т (А) т,2 (Ао) 
=0-0,0086-0,008=0,016 =0+0,0514+0,216=0,267 
6; 4; 

т; 2 (45) т;2 (Ал) 


=0--0,324--0,249=0,573; 
4 
У ть(А) =. 
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Пример 2. Пусть имеется множество альтернатив 
(основа анализа) А = {А,,А,, А3, Аз} И два эксперта, 
выполняющих их оценивание. 

В результате проведения экспертного опроса была 
сформирована система подмножеств Х = {Р;,Р,}, 


=0+0,032+0,111=0,143. 


отражающая выбор экспертов 1 и 2. Р, ={В®, В} 
представляет собой множество, которое является сово- 
купностью выделенных экспертом 1 подмножеств 
ВО) = {А} и В = {А,}. Экспертом 2 было сформи- 
Р, ={В0), ВО), В}, где 


ровано множество 


ВО) = {4}, ВО) = (А) ИВО) = (А). На рисунке 2 
изображены выделенные экспертами 1 и 2 подмноже- 
ства. 





вО во 
(2) (2) (2) 
В, В, В; 
А 





Рисунок 2 – Выделенные экспертами 1 и 2 подмноже- 
ства (пример 2) 





Выделенным подмножествам назначены основ- 
ные назначения вероятности: 


т (А) =0. т (А) = 0,998. 
т (А) = 0,998. т(А) =0. 
т (А) = 0. т(А,) = 0,002 . 


т, (Аз) = 0,001. т(4,) = 0,001, 


Рассчитаем результирующее основное назначе- 
ние вероятности т, (:) на основе правил комбиниро- 
вания Демпстера, Дезера-Смарандаке и правила РСВ5. 
В таблице 2 представлены результирующие подмноже- 
ства, образованные путем пересечения выделенных 
экспертами подмножеств. 


ПРОБЛЕМИ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ 





Таблица 2 
Степень пересечения выделенных экспе- 
ртами подмножеств (пример 2) 




















Эксперт 1 
(і 
В) вг = {А} М = {А4} 
(1) (2) _ 
ВО) {А} В в =@ ВО ВО) = © 
Экс 
во В(2) = 
перт | В? = (43) |“ 22 А ВО ВО = 0 
2 
(0) (2) _ (1) (2) _ 
ВО = {41} ВВ =@ Ву ПВ =4А, 














Коэффициент конфликтности для примера 2 со- 
ставил 


К = т (А )т, (А) + т (А, )т, (А) + т, (А, )т, (Ау) + т (А )т, (Аз) + т (А, )т, (А) = 
= 0,998 * 0,998 + 0,002 *0,998+0,998 *0,001+0,002 *0,001+0,998*0,001 = 
= 0,996004 +0,001996 + 0,000998 +0, 000002 +0, 000998 = 0,999998. 


Результирующие основные назначения вероятно- 
сти: 
= Правило Демпстера: 
т(А4) = т(Ад)т, (Ад) = 
= 0,002 *0,001/(1—0, 999998) =. 
= 0, 000002 /0,000002 =1 
– Классическое правило комбинирования 
Дезера–Смарандаке: 
ту (А) = 0,000002; 
ту (А СА.) =0,001996; 
ту (А5 ^ Аз) =0,000998; 
=0,000998; (А, ^ А.) =0,000002. 
Как видно из таблицы 2 в модели имеются 5 ло- 
кальных конфликтов: д А, = 6, АА, =, 
АА =@, тА =@, А тА; =. Суммар- 
ное значение которых соответствует значению коэффи- 
циента конфликтности д, . 
Первый локальный конфликт т, (А; А,) = 
т, (А, )т, (А) =0,996004 пропорционально распреде- 
ляется между выбором А, и А, В соответствии с вы- 
ражением 


т (А 14) =0,996004; 


т.о (А› Ад) 


хх уу 0,996004 
0,998 0,998 1,996 





Тогда х= у 
=(0,996004*0,998)/1,996=0,498002. 

Второй локальный конфликт л, (А, с А.) = 
т, (А )т (А) =0,001996 пропорционально распреде- 
ляется между выбором А, и А, В соответствии с вы- 


ражением 
» _ у 0,001996 
0,998 0,002 1 

Тогда (0,998*0,001996)=0,001992; 
(0,002*0,001996)=0,000004. 

Третий локальный конфликт (А, 4) = 
ту (А, )т, (Аз) =0,000998 пропорционально распреде- 
ляется между выбором А, и А, В соответствии с вы- 
ражением 





х = у» = 


№ Уз 0, 000998 
0,998 0,001 0,999 

Тогда х =(0,000998*0,998)/0,999=0,000997; у, 
=(0,000998*0,001)/0,999= 0,000000999. 

Четвертый локальный конфликт т, (А; А) = 
т, (А )т, (Аз) =0,000002 пропорционально распреде- 
ляется между выбором А; и А, В соответствии с вы- 
ражением 











м _ 4 _ 0.000002 
0,001 0,0020 0,003 
х, =(0,001*0,000002)/0,003=0,000000667; 





Тогда 
уг =(0,002*0,000002)/0,003= =0,000001335. 


Пятый локальный конфликт т>(А ПА.) = 
т, (А,)т, (Аз) =0,000002 пропорционально распреде- 
ляется между выбором А, и А,. Учитывая, что 
ть (Ау) = т (Аз) ‚ТО х; = ж И У; = уз. 

Результирующие основные назначения вероятно- 
сти, полученные на основе правила РСА5: 

ту (А) =0-0,498002-0,001992=0,499994; 

т›(А) 
=0+0,498002-+-0,000997-+0,000997=0,499996; 

т (Аз) 
=0+0,000000999--0,000000667=0,000001666; 

т; (Аз) 
=0,000002-+0,000001335-0,000000999-0,000004=0,00 
0008334. 

Пример 3. Пусть имеется множество альтернатив 
(основа анализа) А = (А, А, А3, 44} и два эксперта, 
выполняющих их оценивание. 

В результате проведения экспертного опроса была 
сформирована система подмножеств Х = {Р,,Р,), 
отражающая выбор экспертов 1 и 2. Р, = {В(, В} 
представляет собой множество, которое является сово- 
купностью выделенных экспертом 1 подмножеств 
ВО) = {А} и В = {А}. Экспертом 2 было сформи- 
ровано множество Р, = {В В} ‚где В) = {А} и 
ВО) = {А1}. На рисунке 3 изображены выделенные 
экспертами 1 и 2 подмножества. 





Рисунок 3 – Выделенные экспертами 1 и 2 подмноже- 
ства (пример 3) 


Выделенным подмножествам назначены основ- 
ные назначения вероятности: 


т(А) =0. т (А») = 0,99. 
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т(А) = 0,99 . т(А) = 0. 
т(А) = 0. т (А4) = 0,01. 
т(А) = 0. т> (Ад) = 0,01 


Рассчитаем результирующее основное назначе- 
ние вероятности т, (-) на основе правил комбиниро- 
вания Демпстера, Дезера-Смарандаке и правила РСВ5. 
В таблице 3 представлены результирующие подмноже- 
ства, образованные путем пересечения выделенных 
экспертами подмножеств. 

Коэффициент конфликтности для примера 3 со- 
ставил 


Ко = т(Аз)т (А) + т (А) (А) +т (А )т (А) = 
= 0,99*0,99+0,01*0,99+0,99*0,01= 0,9999. 


Таблица 3 
Степень пересечения выделенных экспе- 
ртами подмножеств (пример 3) 

















Эксперт 1 
в’ | В) =(2) | В = (А4) 
(2) _ (1) (2) _ 
В =1АВ ОВ = ВО ВО) = 0) 
Экс 
перт2 | В = {А ВоВ = 0) Ву В = (41) 














Результирующие основные назначения вероятно- 
сти: 
— Правило Демпстера: 
ту (А4) = т (А, )ть (Аз) = 
= 0,01*0,01/(1-0,9999) = 0,0001/0,0001=1° 
– Классическое правило комбинирования 
Дезера-Смарандаке: 
тр (44) = 0,0001; ть (АП А,)=0,9801; 
т (А СА.) =0,0099; т, (А, Ал) =0,0099. 
— Правило 
РСА5: 


перераспределения конфликтов 


0,992 .0,99 0,992 .0,01 _ 
0,99+0,99 0,99+0,01 





т (А) = 04 


0,499851; 
0,992 .0,99 0,992 .0,01 
т2(А5) = ! 

0,99+0,99 0,99+0,01 
т(А) =0; 





= 0,499851; 








0,01? .0,99 0,012 .0,99 _ 
0,01+0,99 0,01+0,99 





т, (Аз) = 0,01-0,01+ 


0,000298. 


ВЫВОДЫ 

В статье рассмотрен ряд правил комбинирования 
на основе конъюнктивного консенсуса, которые позво- 
ляют получать агрегированные оценки в условиях 
противоречивой экспертной информации. 

Рассмотренные примеры и полученные результа- 
ты дают возможность сформулировать следующие 
утверждения: 

1.Правило комбинирования Демпстера относит 
назначения вероятности, связанные с конфликтующи- 
ми подмножествами, к пустому множеству и использу- 
ет их только для нормализации полученных результа- 
тов. В случае значительного конфликта это приводит к 
некорректным (неправдоподобным) результатам. 
Правило Демпстера может быть использовано при 
условии незначительного конфликта, если суждения 
экспертов признаны согласованными, и количествен- 
ное значение полного незнания (основного назначения 
вероятности отнесенного множеству 
{А А, 07...0А, }) намного меньше суммарного 
назначения вероятности, относящейся ко всем выде- 
ленным подмножествам. 

2. Правило комбинирования Дезера-Смарандаке 
показывает лучшие результаты по сравнению с прави- 
лом Демпстера, так как позволяет получать более пол- 
ную информацию о характере взаимодействия экс- 
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пертных суждений (в процессе анализа образуются 
результирующие подмножества экспертных суждений 
не только на основе операции ‹›, как в теории свиде- 
тельств, но и при помощи операции <), а также кор- 
ректно обращаться с неопределенными (эксперт за- 
трудняется с выбором), парадоксальными и противо- 
речивыми данными. Степень неопределенности воз- 
растает с ростом массы уверенности (основного назна- 
чения вероятности) отнесенной к множеству 
{Ач Ач... А, }, ДОЛЯ парадоксальности возраста- 


ет с ростом (А, с А, г... А, . Классическое прави- 


ло комбинирования Дезера-Смарандаке позволяет 
обрабатывать экспертные суждения в ситуации, когда 
конфликтная масса уверенности достигает 1, но при 
этом возможна ситуация при которой не будет выделе- 
но результирующих одноэлементных подмножеств 
соответствующих исходным альтернативам. 

3. Правило комбинирования РСВ5 перераспреде- 
ляет основное назначение вероятности, отнесенное к 
пустому множеству, на подмножества, вовлечённые в 
конфликт, пропорционально основным назначениям 
вероятности этих подмножеств. Это свойство позволяет 
корректно обращаться с обобщенной массой уверенно- 
сти (основному назначению вероятности) отнесенной к 
пустым пересечениям. Правило комбинирования РСЁ5 
позволяет обрабатывать экспертные суждения в ситуа- 
ции, когда конфликтная масса уверенности достигает 1, 
при этом будут рассчитаны комбинированные основ- 
ные назначения вероятности для всех выделенных 
экспертами подмножеств, включая одноэлементные. 
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